世界建模助手

就像一个游戏——你登陆了某种网络，你的游戏帮助你定位并利用世界资源实现你的目标。

假设你买了一台电脑，然后安装了这个程序。该程序是一个工具而不是服务（有点像游戏化的、由BT（BitTorrent）支持的协作信息检索和实现的工具）。为了让游戏更有趣，程序会要求你设定你的目标和度量标准（以后我们会自动发现资源来支持这些目标，因此这些目标最初仅用于游戏目的），比如目标可以是 "找到一个朋友"。然后，你运行这个程序。它在后台运行，有命令行界面，可通过点击其托盘图标或命令弹出。

该程序开始协作扫描和映射可用的资源——从你的硬件到网络。收集初始信息，如硬件可用，使用已知的位置和现有的软件，如路径 /proc、nmap、bluetoothctl、nmcli、机器脚本和局域网信息，识别3个主要的地址空间：文件系统地址空间，IP地址空间，MAC地址空间。然后，该程序利用 ipinfo.io 数据获取现有的自治系统信息，以及如何通过区域互联网注册机构（RIR）分配IP空间。然后，它利用ICANN集中区域数据服务来确定哪些域在互联网上公开可用：域名空间。用户能够看到 域名空间 所覆盖的 IP空间 的百分比，并让其余的IP空间声明——未知。

此后，该程序允许选择任何网站，获取其结构化信息，如果这些信息已经被任何人在线抓取，那么这些数据就像通过BT下载电影一样容易。用户自己能够看到域名空间中的哪些网站被什么人抓取过，如果存在爬虫，可以启动新的抓取。

抓取的信息会根据被抓取的域名或IP的协议存储在本地。例如，如果我们使用MongoDB来存储抓取的数据，那么，如果是通过 HTTPS 从 1.1.1.1 在 443 端口抓取的，那么网页就会按照协议名保存到名为 HTTPS 的数据库中。如：

$ mongo

use HTTPS db['1.1.1.1:443'].insertOne({'hi': 'there'})

另外，程序会建议使用概念的本体词汇来映射保存到数据库的实体，以自由的形式将网站自己的概念映射到这个共享词汇中，用双冒号（::）的标记，如下所示：

$ mongo

use HTTPS db['1.1.1.1:443/Page::resource:document'].insertOne({'hi': 'there'})

这里 /Page 是源系统中实体的名称，而 ::resource:document 是对所有分类系统中的类别进行分类的本体词汇。词汇表可能与 Network of Functions 这个概念中所描述的词汇表相同或相似，但却是一个版本控制和演变的主题。

例如，我建议网络资源词汇表的 V1 为。

{
    '::category': ['.goal', '.concept', '.question'],
    '::system':   ['.project', '.structure', '.mechanism', '.organization', '.person', '.process', '.api'],
    '::method':   ['.idea', '.principle', '.function', '.invention', '.equipment', '.product', '.endpoint'],
    '::location': ['.address', '.account', '.url'],
    '::request':  ['.CATEGORY', '.query', '.order', '.operation', '.task', '.call'],
    '::resource': ['.record', '.document', '.METHOD', '.SYSTEM'],
}

在词汇表的这个版本中，命名是这样的：

$ mongo
> use HTTPS
> db['1.1.1.1:443/Page::v1/resource:document'].insertOne({'hi': 'there'})

注意：词汇表中大写的 .CATEGORY、.METHOD 和 .SYSTEM 是别名，也就是说，如果你有一个 ::resource 看起来像系统，则不应该使用 ::resource 命名空间，而应该使用 ::system 命名空间。

这种方法的结果是，程序收集的本地数据库，有按协议命名的数据库，可能看起来像这样：

FTP 114.330GB
HTTP 5.340TB
HTTPS 153.481TB
IMAP 138.183GB
POP 11.380GB
XMPP 1.423GB
admin 0.000GB
config 0.000GB
local 0.027GB

你可以想象更多的协议，比如： TELNET, SSH, FTP, SMTP, DNS, AMQP, HTTPS:ATOM, HTTPS:RSS, BITCOIN, BITTORRENT, EDONKEY, FREENET, IRC, IMAP, IPFS, LDAP, HTTP, HTTPS, MIME, MQTT, NNTP, NTCIP, NTP, POP, RTP, RTSP, SIP, SMPT, TOR, TOX, XMPP, Z3950, TELEGRAM, ETHEREUM, HTTPS:GRAPHQL, HTTPS:REST, 等等。

爬虫各自会定义自己的名称来命名所爬取的项目对象，比如 /Page，但使用共享词汇版本如 ::resource:document 来添加元数据，以备将来整理数据。

爬虫将存储在公共的git库中，而抓取的数据将作为BT种子共享。世界映射助手这种方式会自动将抓取的数据作为种子，人们可以快速获取互联网的结构化数据，用于计算、扩展和运营。

后续思路：

• 可以通过监测人们访问了哪些网站、访问了多少次来生成爬网线索，为用户统计出什么样的来源可能会有兴趣自动抓取。很容易用浏览器插件来实现，但也可能用监测自己操作系统的流量来完成。